可靠的概括是安全ML和AI的核心。但是，了解神经网络何时以及如何推广仍然是该领域最重要的未解决问题之一。在这项工作中，我们进行了一项广泛的实证研究（2200个模型，16个任务），以研究计算理论中的见解是否可以预测实践中神经网络概括的局限性。我们证明，根据Chomsky层次结构进行分组任务使我们能够预测某些架构是否能够推广到分布外输入。这包括负面结果，即使大量数据和训练时间也不会导致任何非平凡的概括，尽管模型具有足够的能力完美地适合培训数据。我们的结果表明，对于我们的任务子集，RNN和变形金刚无法概括非规范的任务，LSTMS可以解决常规和反语言任务，并且只有通过结构化内存（例如堆栈或存储器磁带）可以增强的网络可以成功地概括了无上下文和上下文敏感的任务。
translated by 谷歌翻译
公平表示学习编码用户数据，以确保公平和实用性，无论下游应用。然而，学习单独公平的表示，即保证类似的个体相似地治疗，在计算机视觉等高维设置中仍然具有挑战性。在这项工作中，我们介绍了Lassi，是用于认证高维数据的个人公平的第一个代表学习方法。我们的主要洞察力是利用最近在生成建模方面的进步，以捕获生成潜空间中的类似个人。这允许通过使用对抗性训练将相似的个体覆盖相似的单独公平的表示，以最小化其表示之间的距离。最后，我们采用随机平滑，以证明类似的人在一起将类似的人映射在一起，反过来确保了下游应用的局部稳健性导致端到端的公平认证。我们对具有挑战性的真实世界形象数据的实验评估表明，我们的方法将认证的个人公平升高至60％，而不会显着影响任务效用。
translated by 谷歌翻译